출현적 능력(Emergent Ability)은 AI 시스템(특히 대규모 언어 모델)이 예상하지 못한 새로운 능력을 자발적으로 나타내는 현상을 의미한다. 즉, 특정 규모 이상의 모델에서 갑작스럽게 새로운 기능이나 패턴이 나타나는 것을 가리킨다.
AI 모델이 훈련 과정에서 특정한 임계점을 넘을 때 예측하지 못한 새로운 기능이 나타나는 현상을 의미한다. 이는 일반적으로 모델의 규모가 커지면서 발생한다.
오픈AI가 공개한 예시로, 먼저 사진을 GPT-4에게 보여 준다.
Q) 이 그림을 보고 뭐가 웃긴지 알려주고, 각 패널을 하나씩 설명해줘.
A) GPT-4: 스마트폰에 오래된 VGA 커넥터를 꽂으려고 하고 있네요. 라이트닝 케이블(아이폰 단자) 패키지에 VGA 사진을 붙였어요. VGA 커넥터에 라이트닝 커넥터를 붙여 놓았군요. 크고 오래된 VGA 커넥터를 작은 최신형 스마트폰 포트에 꽂으려고 하는 게 이 사진의 웃긴 점입니다.
언어 모델 학습 과정에서의 연산량에 따른 성능 변화를 그래프로 나타냈다. 학습 연산량이 특정한 임계점을 지나거나(혹은 매개변수가 1,000억 개를 넘을 때) 대규모 언어 모델(LLM)의 능력이 갑자기 향상되는 현상이 발견되었다. 이러한 현상을 Emergent Ability라고 한다.